پروژه نگاشت اسامي داخل متن به پايگاه داده افراد شناخته شده NLP پردازش زبان هاي طبيعي
پروژه نگاشت اسامي داخل متن به پايگاه داده افراد شناخته شده NLP پردازش زبان هاي طبيعي · • • • • °°• پروژه نگاشت اسامي داخل متن به پايگاه داده افراد شناخته شده پردازش زبان هاي طبيعي پروژه نگاشت اسامي داخل متن به پايگاه داده افراد شناخته شده پردازش زبان هاي طبيعي پروژه نگاشت اسامي داخل متن به پايگاه داده افراد شناخته شده › پروژهنگاشتاساميپروژه نگاشت اسامي داخل متن به پايگاه داده افراد شناخته شده › پروژهنگاشتاسامي پروژه نگاشت اسامي داخل متن به پايگاه داده افراد شناخته شده پردازش زبان هاي طبيعي در اين پروژه جهت يافتن اسم ها، از يك ديتابيس اختصاصي استفاده مي كند، اين ديتابيس از نوع مي باشد كه نياز است كنار فايل اصلي پروژه وجود پروژه نگاشت اسامي داخل متن به پايگاه داده افراد شناخته شده › پروژه نگاشت اسامي داخل متن به پايگاه داده افراد شناخته شده › پروژه نگاشت اسامي داخل متن به پايگاه داده افراد شناخته شده پردازش زبان هاي طبيعي فارسي فايل ‘’ پردازش زبان طبيعي با پايتون — راهنماي جامع – فرادرس مجله › پردازش زبان طبيعي با پايتون — راهنماي جامع – فرادرس مجله › مقدمه انگيزه سرآغاز اسكراپ كردن مقالات خبري براي بازيابي داده استخراج متون و پيشپردازش حذف كردن تگهاي حذف كاراكترهاي آكسان دار حالت گسترده اختصارات حذف كاراكترهاي ويژه ريشهيابي لغوي دادههاي ساختنيافته و به طور خاص متن، تصاوير و ويديوها حاوي حجم بالايي از اطلاعات هستند با اين حال به دليل پيچيدگي ذاتي پردازش و تجزيه و تحليل اين دادهها، افراد غالباً از صرف زمان و تلاش زياد روي مجموعه دادههاي ساختنيافته كه در حكم كاوش معدن طلا هستند اجتناب ميكنند پردازش زبان طبيعي به بهرهگيري از ابزارها، تكنيكها و الگوريتمها براي در نهايت، حوزهاي تخصصي در علوم رايانه و هوش مصنوعي محسوب ميشود كه ريشه در زبانشناسي محاسباتي دارد دغدغه اصلي اين حوزه از علوم، طراحي و ساخت برنامه و سيستمهايي است كه امكان تعامل بين ماشينها و زبانهاي طبيعي را فراهم سازند و در طي زمان براي استفاده انسان تكامل پيدا كنند از اين رو در اغلب موارد اين حوزه علمي به عنوان يك زمينه كمعمق و سطحي زماني كه مشغول ساخت محتوا و مثالهاي اين آموزش بوديم بين دو راه براي انتخاب مجموعه داده ساختگي براي بررسي بهتر مسائل و يا تمركز روي مجموعه دادههاي موجود از يكي از منابع براي علوم داده دچار شك و ترديد بوديم در نهايت تصميم گرفتيم به اسكراپ كردن وب و گردآوري برخي متون جهت ايجاد مثالهاي كاربردي بر اساس آن بپردازيم دادههاي منبع كه روي آنها كار خوا ما به اسكراپ كردن وب سايت از طريق بهرهگيري از پايتون براي بازيابي مقالات خبري خواهيم پرداخت در اين بخش روي مقالاتي در حوزههاي فناوري، ورزش و اخبار جهاني متمركز شدهايم از هر دسته مقالاتي به اندازه يك صفحه انتخاب ميكنيم يك صفحه فرود دسته خبري معمولي در تصوير زير نمايش يافته است كه بخشهاي براي محتواي متني هر مقاله معمولاً چند مرحله در زمينه پاكسازي و پيشپردازش دادههاي متني وجود دارد مراحل پيشپردازش متن به تفصيل در اين لينك ارائه شده است با اين حال در اين بخش نيز برخي از مهمترين گامهايي كه به طور مكرر در پردازش زبان طبيعي مورد استفاده قرار ميگيرند را بررسي كردهايم اين گامها به وفور در پروژههاي مورد بهرهبرداري قرار ميگيرند ما اندكي از متنهاي ساختنيافته غالباً شامل مقدار زيادي نويز هستند، به خصوص اگر از تكنيكهايي مانند اسكراپ كردن وب يا صفحه استفاده كنيد تگهاي به طور معمول يكي از مؤلفههايي هستند كه ارزش زيادي در جهت درك و آناليز متن اضافه نميكنند از روي خروجي فوق كاملاً مشخص است كه ميتوانيم تگهاي غير ضروري را حذف و اطلاعات متني مفيد را در همه اسناد حفظ كنيم معمولاً در همه اسناد متني با كاراكترهاحروف آكسان دار مواجه ميشويم به خصوص اگر بخواهيد زبان انگليسي را آناليز كنيد از اين رو بايد مطمئن شويم كه اين كاراكترها به صورت كاراكترهاي تبديل و استاندارد شدهاند يك نمونه ساده تبديل é به است تابع قبلي به ما نشان ميدهد كه چگونه ميتوانيم به راحتي كاراكترهاي آكسان دار را به كاراكترهاي نرمال انگليس اختصارها نسخه خلاصهشدهاي از كلمات يا هجاها هستند آنها معمولاً به شكلهاي مكتوب يا شفاهي در زبان انگليسي وجود دارند نسخههاي خلاصه شده يا اختصاري كلمات با حذف برخي حروف و صداهاي خاص توليد ميشوند در مورد اختصارات انگليسي در اغلب موارد از طريق حذف يك يا چند مصوت از كلمه پديد ميآيند نمونههايي از اختصارات به صورت تبديل به ’ و تبديل كاراكترهاي ويژه و نمادها معمولاً كاراكترهاي عدديحرفي يا حتي در مواردي كاراكترهاي عددي بسته به مسئله هستند كه باعث افزايش نويز در متون ساختنيافته ميشوند به طور معمول ميتوان از عبارتهاي قاعدهمند ها براي حذف آنها استفاده كرد حذف ارقام به صورت اختياري است، زيرا در اغلب موارد ممكن است در مرحله پيشپردازش متن نياز به حفظ آنها وجود داش براي درك ميبايست دركي از ريشه كلمه داشته باشيد ريشههاي كلمات كه به نام حالت پايه واژه نيز شناخته ميشوند مواردي هستند كه پسوندهاي مختلف در فرايندي به نام تصريف به آن ميچسبند و واژههاي جديدي ميسازند براي مثال واژه را در نظر بگيريد ميتوان به آن پسوندهايي اضافه كرد و كلمات جديدي مانند ، ، و از آن ساخت در اين پروژه نگاشت اسامي داخل متن به پايگاه داده افراد شناخته شده › پروژهپروژه نگاشت اسامي داخل متن به پايگاه داده افراد شناخته شده › پروژه نرم افزار جهت نگاشت اسامي داخل متن به افراد شناخته شده، در محيط ويژوال استوديو ۲۰۱۳ با ايجاد گرديد روش كار نرم افزار نگاشت اسامي داخل متن به پايگاه دادهي افراد شناخته شده › › نگاشت اسامي داخل متن به پايگاه دادهي افراد شناخته شده › › نگاشت اسامي داخل متن به پايگاه دادهي افراد شناخته شده تا الان براي اين درخواست پيشنهاد توسط فريلنسرهاي سايت ارسال شده است پارسي پروژه پارسي پروژه پروژه نگاشت اسامي داخل متن به پايگاه داده افراد شناخته شده پردازش زبان هاي طبيعي قيمت ريال پروژه ثبت نام مدرسه با داكيومنت
پروژه نگاشت اسامي داخل متن به پايگاه داده افراد شناخته شده NLP پردازش زبان هاي طبيعي
در اين پروژه جهت يافتن اسم ها، از يك ديتابيس اختصاصي استفاده مي كند، اين ديتابيس از نوع XML مي باشد كه نياز است كنار فايل اصلي پروژه وجود داشته باشد. جهت به دست آوردن ديتابيسي جامع از اسم هاي افراد معروف، ليست بازيگران، ورزشكاران، سياستمداران، روحانيون، دانشمندان، هنرمندان، نقاشان، نويسندگان و… از ويكي پديا جستجو شد و در يك فايل Excel اضافه شد، سپس با استفاده از توابع Excel نام و نام خانوادگي افراد از هم جدا شد. سپس ديتاهاي ; تكراري حذف شد. بعد از كانورت اطلاعات به صورت مناسب و در قالب فايل XML ;ديتابيس آماده است. نرم افزار NLP_Project جهت نگاشت اسامي داخل متن به افراد شناخته شده، در محيط ويژوال استوديو ۲۰۱۳ با .net 4.5 ايجاد گرديد. ; روش كار نرم افزار: متن مورد نظر را در كادر بالا وارد كرده ; و دكمه “جستجو با Wikipedia API ” را كليك مي كنيم، برنامه همه كلمه هاي جمله را بررسي كرده و با نام هاي ديتابيس XML ;مقايسه مي كند، در صورتي كه كلمه مورد نظر در فايل XML وجود داشته باشد، برنامه به وب سرويس Wikipedia API متصل شده و نتايج مربوطه به كلمه را است ...
دسته بندي : برنامه نويسي ، سورس ، پروژه
تگ : پردازش زبان طبيعي , NLP , پردازش متن
براي دانلود اينجا كليك فرماييد
برچسب: